大型预先训练的语言模型已经显示了几次拍摄学习的承诺,只提供了几个任务特定示例给出了基于文本的任务。款式将很快解决到目前为止为人类研究助理保留的分类任务吗?现有的基准标记不设计用于衡量应用设置的进度,因此不要直接回答这个问题。 RAFT基准(现实世界注释的少量拍摄任务)侧重于自然发生的任务,并使用镜像部署的评估设置。 RAFT的基线评估揭示了当前技术斗争的地区:推理在许多班级的长篇文章和任务上。人类基线表明,非专家人类难以反映出一些分类任务,反映了现实世界的价值有时依赖于域名专业知识。甚至非专业人类基线F1分数超过GPT-3平均为0.11。 RAFT DataSets和排行榜将跟踪哪些模型改进在https://raft.elict.org中转化为现实世界的优势。
translated by 谷歌翻译
Technological advancements have normalized the usage of unmanned aerial vehicles (UAVs) in every sector, spanning from military to commercial but they also pose serious security concerns due to their enhanced functionalities and easy access to private and highly secured areas. Several instances related to UAVs have raised security concerns, leading to UAV detection research studies. Visual techniques are widely adopted for UAV detection, but they perform poorly at night, in complex backgrounds, and in adverse weather conditions. Therefore, a robust night vision-based drone detection system is required to that could efficiently tackle this problem. Infrared cameras are increasingly used for nighttime surveillance due to their wide applications in night vision equipment. This paper uses a deep learning-based TinyFeatureNet (TF-Net), which is an improved version of YOLOv5s, to accurately detect UAVs during the night using infrared (IR) images. In the proposed TF-Net, we introduce architectural changes in the neck and backbone of the YOLOv5s. We also simulated four different YOLOv5 models (s,m,n,l) and proposed TF-Net for a fair comparison. The results showed better performance for the proposed TF-Net in terms of precision, IoU, GFLOPS, model size, and FPS compared to the YOLOv5s. TF-Net yielded the best results with 95.7\% precision, 84\% mAp, and 44.8\% $IoU$.
translated by 谷歌翻译
With advanced imaging, sequencing, and profiling technologies, multiple omics data become increasingly available and hold promises for many healthcare applications such as cancer diagnosis and treatment. Multimodal learning for integrative multi-omics analysis can help researchers and practitioners gain deep insights into human diseases and improve clinical decisions. However, several challenges are hindering the development in this area, including the availability of easily accessible open-source tools. This survey aims to provide an up-to-date overview of the data challenges, fusion approaches, datasets, and software tools from several new perspectives. We identify and investigate various omics data challenges that can help us understand the field better. We categorize fusion approaches comprehensively to cover existing methods in this area. We collect existing open-source tools to facilitate their broader utilization and development. We explore a broad range of omics data modalities and a list of accessible datasets. Finally, we summarize future directions that can potentially address existing gaps and answer the pressing need to advance multimodal learning for multi-omics data analysis.
translated by 谷歌翻译
基于训练后辍学的方法实现了高稀疏性,并且是解释与计算成本和神经网络架构中过度拟合的问题的良好方法。相反,初始化修剪仍然远远落后。当涉及到网络的计算成本时,初始化修剪更有效。此外,它可以处理过度拟合以及培训后辍学。在对上述原因的认可中,本文提出了两种初始化时修剪的方法。目标是在保持性能的同时获得更高的稀疏性。 1)K-starts,从初始化时k随机p-sparse矩阵开始。在前几个时期,网络然后确定了这些P-Sparse矩阵的“优胜者”,以尝试找到“彩票” P-SPARSE网络。进化算法如何找到最好的个体来采用这种方法。根据神经网络体系结构,健身标准可以基于网络权重的大小,梯度积累的幅度或两者的组合。 2)耗散梯度方法,目的是消除在前几个时期内保持其初始值的一部分的权重。尽管它们的幅度最佳地保留了网络的性能,但以这种方式去除权重。相反,该方法还需要最多的时期才能达到更高的稀疏性。 3)耗散梯度和KSTART的组合始终优于方法和随机辍学。使用提供的相关方法的好处是:1)他们不需要对分类任务的特定知识,固定辍学阈值或正则化参数2)模型的重新训练既不是必要的,也不影响P-SPARSE网络的性能。
translated by 谷歌翻译
在电力市场中寻找最佳的招标策略将带来更高的利润。但是,由于系统不确定性,这是一个充满挑战的问题,这是由于其他一代单位的策略所致。分布式优化(每个实体或代理人都决定单独出价)已成为最新技术的状态。但是,它无法克服系统不确定性的挑战。深度强化学习是在不确定环境中学习最佳策略的一种有前途的方法。然而,它无法在学习过程中整合有关空间系统拓扑的信息。本文提出了一种基于深钢筋学习(DRL)与图形卷积神经网络(GCN)的分布式学习算法。实际上,拟议的框架可以通过从环境中获得反馈来帮助代理商更新决策,从而可以克服不确定性的挑战。在该提出的算法中,节点之间的状态和连接是GCN的输入,可以使代理知道系统的结构。有关系统拓扑的此信息可以帮助代理商改善其投标策略并增加利润。我们在不同情况下评估了IEEE 30总线系统上提出的算法。此外,为了研究所提出的方法的概括能力,我们测试了IEEE 39-BUS系统的训练模型。结果表明,所提出的算法具有与DRL相比具有更大的泛化能力,并且在更改系统拓扑时可能会获得更高的利润。
translated by 谷歌翻译
创建可以对对话做出适当反应又理解复杂人类语言倾向和社会线索的代理人在NLP社区中一直是一项艰巨的挑战。最近的研究支柱围绕着对话中的情感识别(ERC);情感识别的子场地,重点是包含两个或更多话语的对话或对话。在这项工作中,我们探讨了一种ERC的方法,该方法利用了对话中神经嵌入的使用以及复杂的结构。我们在称为概率软逻辑(PSL)的框架中实现了我们的方法,该框架是一种使用一阶逻辑规则的声明的模板语言,该语言与数据结合时,定义了特定类别的图形模型。此外,PSL为将神经模型的结果纳入PSL模型提供了功能。这使我们的模型可以利用先进的神经方法,例如句子嵌入以及对话结构的逻辑推理。我们将我们的方法与最先进的纯神经ERC系统进行了比较,并将几乎提高了20%。通过这些结果,我们对DailyDialog对话数据集提供了广泛的定性和定量分析。
translated by 谷歌翻译
语言模型既展示了定量的改进,又展示了新的定性功能,随着规模的增加。尽管它们具有潜在的变革性影响,但这些新能力的特征却很差。为了为未来的研究提供信息,为破坏性的新模型能力做准备,并改善社会有害的效果,至关重要的是,我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战,我们介绍了超越模仿游戏基准(Big Bench)。 Big Bench目前由204个任务组成,由132家机构的442位作者贡献。任务主题是多样的,从语言学,儿童发展,数学,常识性推理,生物学,物理学,社会偏见,软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号,Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为,跨越了数百万到数十亿个参数。此外,一个人类专家评估者团队执行了所有任务,以提供强大的基准。研究结果包括:模型性能和校准都随规模改善,但绝对的术语(以及与评估者的性能相比);在模型类中的性能非常相似,尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分,而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标;社交偏见通常会随着含糊不清的环境而随着规模而增加,但这可以通过提示来改善。
translated by 谷歌翻译
本文提出了一种安全的竞标决策和单位维护调度的安全加强学习算法和竞争力的电力市场环境。在这个问题中,每个单位都旨在找到一个招标策略,以通过调度预防性维护同时保持其可靠性,以最大限度地提高其收入。维护调度提供了一些安全约束,应该始终满足。满足批判性安全性和可靠性限制,而生成单位具有彼此的不完整信息的竞标策略是一个具有挑战性的问题。双层优化和加强学习是解决这种问题的最先进方法。然而,双层优化和增强学习都无法应对不完全信息和关键安全限制的挑战。为了解决这些挑战,我们提出了安全的深度确定性政策梯度加强学习算法,其基于加强学习和预测安全滤波器的组合。案例研究表明,与其他现有技术相比,该方法可以实现更高的利润,同时满足系统安全约束。
translated by 谷歌翻译